Nazwa Koloseum, z którą na ogół kojarzymy ten dostojny obiekt, przylgnęła do niego od nazwy ogromnej rzeźby cesarza Nerona, zwanej kolosem, która znajdowała się nieopodal i której nie zniszczono po jego śmierci. Przekształcono ją jedynie w posąg poświęcony bogu Słońca Sol. Stała tam przynajmniej do IV wieku.

Po przejęciu władzy w Rzymie cesarze z nowej dynastii Flawiuszów (Wespazjan i jego syn Tytus), poszukując najlepszego sposobu na zjednanie sobie sympatii jego mieszkańców, nie zapomnieli o przesadnych, wręcz megalomańskich poczynaniach swego poprzednika, Nerona. W odróżnieniu od niego pragnęli stworzyć coś spektakularnego dla samych rzymian. Pamiętali też, że w trakcie pożaru w 64 roku zniszczeniu uległ dotychczasowy (istniejący od 29 roku p.n.e.) amfiteatr na Polu Marsowym i że, co prawda, Neron nakazał go odbudować, ale jedynie z drewna, swą uwagę skupiając przede wszystkim na planowaniu własnego kompleksu pałacowego. Wespazjan i Tytus, wzbogaciwszy skarbiec cesarski łupami z wojny żydowskiej w 70 roku i zrabowanymi kosztownościami ze świątyni jerozolimskiej, postanowili cały rozległy teren pałacu Nerona – Domus Aurea (Złotego Domu) wraz z ogrodami oddać ludowi Rzymu. W dolinie pomiędzy wzgórzami Palatyn i Eskwilin ufundowali natomiast monumentalny amfiteatr – miejsce szczególnych pokazów. Przez następne wieki służył on kolejnym cesarzom do pozyskiwania poparcia, do wzmacniania własnego wizerunku i schlebiania gustom żądnych mocnych wrażeń rzymian. Budowla przeznaczona była do walk zwierząt między sobą (venationes), do zabijania zwierząt na różne sposoby, do pokazów tresury oraz do walk gladiatorów, zarówno ze zwierzętami, jak i między sobą.

Czy było zapotrzebowanie na tego typu walki? Czy Flawiusze dobrze ocenili pragnienia swego ludu? Zapewne tak. Zmagania gladiatorów miały dla rzymian szczególne znaczenie – często zapomina się, że nie była to (przynajmniej na początku) czysta krwawa walka i brutalna rozrywka. Jeszcze w czasach republiki zmuszano do niej jeńców, aby w ten sposób oddać cześć zmarłym duchom pokonanych w boju towarzyszy. Pierwsze zorganizowane pojedynki gladiatorów rozgrywano już na Forum Boarium w połowie III wieku p.n.e.

Początkowo areny były konstruowane z drewna i fundowane przez senatorów i polityków, w tym Juliusza Cezara czy Pompejusza Wielkiego. Nie rezygnowali z tej formy pozyskiwania popularności kolejni cesarze w następnych wiekach, także Neron, chociaż ten odnosił się do niej ze sceptycyzmem graniczącym z pogardą. Nie był w tym osamotniony – nie da się bowiem ukryć, że wśród elit intelektualnych I i II wieku igrzyska te były krytykowane. Seneka, nauczyciel Nerona, tak o nich pisał: „Człowiek jest dla ludzkości rzeczą świętą, a dziś zabija się go na arenie dla zabawy”. Tak czy inaczej brutalne igrzyska były w mniejszym lub większym stopniu wspierane i finansowane przez wszystkich cesarzy, a oglądać je mogli, za darmo, wszyscy wolni obywatele miasta.  Zwycięzcy takich potyczek cieszyli się wśród publiczności wielką sławą, podobną do tej, jaka dziś towarzyszy piłkarzom. Często dorabiali się fortun, a ich imię było wychwalane i otaczane miłością, podobnie jak zawodników biorących udział w powożeniu zaprzęgami. Przy czym nieczęsto znajdowali śmierć na arenie, a weterani mogli liczyć na wyzwolenie i spokojną starość. Ich popularność była tak wielka, a oddanie ludu tak duże, że nawet sam cesarz Kommodus, syn Marka Aureliusza, zapragnął ich zaznać. Poszukiwał poklasku i sławy, nie jak Neron w poezji i muzyce, ale w ujarzmianiu, albo lepiej powiedzieć – w zabijaniu dzikich zwierząt, ku oburzeniu senatu i rzymskiej arystokracji, która uważała, że tego typu zachowanie nie przystoi cesarzowi.

Ze śmiercią na arenie musieli się natomiast liczyć przestępcy. W ramach publicznej przestrogi na tę okrutną śmierć skazywano na ogół niewolników. Sankcjonowała to formuła śmierci (domnatio ad bestias), czyli poprzez rozszarpanie przez dzikie zwierzęta. Miało to swoją moralną wymowę – postąpiłeś jak bestia, w ten sam sposób zginiesz. W zależności od przestępstwa skazanym wolno było posiadać broń lub nie. Walczyli też między sobą (domnatio ad ferrum). W tym przypadku mogli liczyć na uniewinnienie przez publiczność, jeśli wykazali się odwagą i męstwem. Na ogół jednak ich śmierć wplatana była w popularne, mityczne lub teatralne, widowiska. Badacze nie są jednak zgodni co do tego, czy rzeczywiście w Koloseum tego rodzaju egzekucje miały miejsce. Zgodność panuje natomiast co do faktu, że w tym miejscu nie dokonywano egzekucji chrześcijan.

Budowę eliptycznego amfiteatru rozpoczęto w 72 roku, a ukończono osiem lat później. Liczył 526 metrów obwodu, cztery piętra i 49 metrów wysokości. Ściany zbudowano z tufu albo z cegieł i obłożono trawertynem. W każdej z widocznych zewnętrznych nisz znajdował się posąg. Górne piętro wieńczył mur, na którym umieszczano żaglowe płótno, aby w ten sposób chronić publiczność przed słońcem. A była to publiczność różnego autoramentu. Specjalnie zabezpieczona loża cesarska znajdowała się na krótszym boku amfiteatru; tam zasiadały również westalki i senatorowie oraz kapłani. Dolne trybuny przeznaczone były dla dygnitarzy i bogaczy, średnie dla patrycjatu, wysokie dla ludu. W sumie widowisko mogło oglądać jednorazowo 50 tysięcy widzów. W celu sprawnej komunikacji opracowano wprost genialny, do dziś wykorzystywany przy budowie stadionów, sposób przemieszczania się, stosując system ramp, przejść i schodów, tak wykoncypowanych, aby w przeciągu kilku minut można było bezkolizyjnie dotrzeć do swego wyznaczonego i dobrze oznakowanego miejsca.  Służyło temu również 80 wejść umieszczonych wokół areny, ta zaś, dla ochrony widzów przed dzikimi zwierzętami, oddzielona była czymś w rodzaju kanału wodnego.

Cesarz Wespazjan doprowadził budowę do drugiej kondygnacji, ale oficjalne otwarcie amfiteatru zainaugurował w 80 roku jego drugi syn – cesarz Domicjan. Uroczystości z tym związane były imponujące. Igrzyska trwały sto dni. Zabito około 5 tysięcy zwierząt, odbyły się walki gladiatorów – w parach i grupach, widownia obdarowywana była prezentami, a całość zwieńczyła bitwa morska, jaką zainscenizowano na wypełnionej wodą arenie.

Stopniowo rozbudowywano pomieszczenia pod areną, służące do magazynowania sprzętu i przechowywania zwierząt. Wtedy też organizowanie inscenizacji bitew morskich, co wiązało się z koniecznością napełnienia areny wodą, stało się niemożliwe.

W następnych stuleciach prześcigano się w ilości mordowanych zwierząt i wystawianych do walk gladiatorów, a całe wzgórze za amfiteatrem (Pincio) dzień i noc rozbrzmiewało porykiwaniami i wyciem przeznaczonych na śmierć stworzeń, które przed większymi igrzyskami tam właśnie gromadzono.

Proceder zabijania na arenie amfiteatru zwierząt i ludzi trwał tu aż do 326 roku, kiedy cesarz Konstantyn Wielki zakazał tego typu spektakli, a skazańców odesłał na roboty do kamieniołomów. Lecz silnie zakorzeniona tradycja wzięła górę. Pod naciskiem rzymskiego ludu musiał na nie ponownie zezwolić, podobnie jak czynili to jego następcy. Definitywnie walk gladiatorów zakazano dopiero sto lat później, poprzestając jedynie na walkach zwierząt między sobą.  Przetrwały one dłużej niż samo imperium, pomimo że trzęsienie ziemi i brak konserwacji Koloseum spowodowały zamknięcie części widowni. Nawet brak cesarza i proces chrystianizacji nie były w stanie zagłuszyć potrzeby tego typu rozrywki. Ostatnie polowanie na dzikie zwierzęta, a właściwie szczucie ich na siebie, urządzili już za panowania ostrogockiego króla Teodoryka Wielkiego konsulowie rzymscy (w 519 i 523 r.), od których lud rzymski wciąż wymagał nie tylko chleba, ale i igrzysk.

Kolejne stulecia przyniosły powolną ruinę Koloseum. Jego arkady od IX wieku zabudowywano, wykorzystując na magazyny, stajnie czy mieszkania, a część obiektu zajęła rodzina Frangipani, aby i tu wznieść jedną ze swych warowni. W XIV wieku urządzano w amfiteatrze również walki byków, zanim kolejne trzęsienie ziemi nie zniszczyło dotkliwie budynku. Od tego czasu służył on jako „kamieniołom”, miejsce pozyskiwania materiału budowlanego dla nowo wznoszonych pałaców i kościołów rzymskich. Kolejne stulecia – czasy renesansu i baroku i ich fascynacja antykiem – nie przyniosły zmiany: zarówno papieże, jak i znakomite rzymskie rody wykorzystywały budulec z Koloseum do wznoszenia własnych rezydencji (Palazzo Venezia, Palazzo Farnese). Powolna dewastacja, jak i kolejne kataklizmy zniosłyby go z powierzchni ziemi, gdyby nie papież Benedykt XIV, który w połowie XVIII wieku ogłosił ekskomunikę dla każdego, kto chciałby dalej rozbierać budowlę. Wtedy też wzniesiono w jej wnętrzu stacje drogi krzyżowej, a na środku postawiono krzyż upamiętniający chrześcijańskich męczenników, którzy rzekomo w tym miejscu mieli ponieść śmierć. To uchroniło obiekt przed całkowitą rozbiórką, jaka spotkała na przykład Circus Maximus. Od tego czasu w każdy Wielki Piątek w Koloseum odbywa się uroczyste nabożeństwo drogi krzyżowej, w którym uczestniczy sam papież.

W XIX wieku zaczęto budowlę zabezpieczać i konserwować, a w XX wieku Benito Mussolini, wielki admirator sztuki antycznej, stworzył dla niej i dla siebie odpowiednią oprawę. Zburzył wszystko, co znajdowało się wokół, i wybudował imponującą via dell’Impero (via dei Fori Imperiali) – promenadę między Koloseum a swą siedzibą w Palazzo Venezia, odpowiednią do przemarszów i wojskowych parad faszystowskich formacji.